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Plan 



□ Agents de resolution de problemes 

□ Problemes bien definis 

□ Exemples de problemes 

□ Recherche de solutions 

□ Strategies d'explorations systematiques : 

□ Non informees, 

□ Informees (heuristiques) 

□ Fonctions heuristiques 

□ Strategies d'explorations locales 
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Agents de resolution de 
problemes 
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Agents de resolution de 
problemes 



□Se sont des agents fondes sur les buts. 

□Les etats du monde sont des atomes sans 
structure interne visible. 

□Un agent intelligent doit maximiser sa mesure 
de performance en formulant un but et en 
essayant de le satisfaire. 

□Exemple : agent en vacances dans Arad en 
Romanie doit formuler son but selon la situation 
actuelle et la mesure de performance. 
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Approche de I'agent pour la 
resolution de probleme 
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Approche de I'agent pour la 
resolution de probleme 




Formulation du but 



□Ensemble d'etats ou le but est satisfait. 

□L'agent doit decouvrir comment agir pour 
arriver a un etat but : aller a Bucarest. 

□II doit done choisir un ensemble d'actions lui 
permettant d'atteindre son but. 

□Mais il ne peut pas considerer directement 
I'etat but, il faut le decomposer en sous-buts 
: e'est la formulation de probleme. 
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Formulation de probleme 



□Processus consistant a 
decider quelles actions et 
quels etats considerer en vue 
d'un but donne : 

□Etats : les differentes villes, 

□Actions : deplacement entre 
les villes. 
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Approche de I'agent pour la 
resolution de probleme 




Exploration 



□Processus de recherche d'une 
sequence d'actions qui atteint le 
but. 

□Un algorithme d'exploration 
prend en entree un probleme et 
renvoie une solution optimale 
sous forme d'une sequence 
d'actions : Arad, Subiu, Fagaras, 
Bucarest. 
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Approche de I'agent pour la 
resolution de probleme 




Execution 



□Les actions recommandees 
sont reellement effectives. 
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Agent elementaire de resolution 
de probleme 



fo net ion Agent-Sim tat- RGsoluti on -PROHL£ME(p#n:epr) retourneune action 
persistant t- seq t unc sequence d'actions, initialement vide 

i'fitf. une description de I'etat courant du monde 
but, un but, irudalement vide 
probleme, une formulation du probleme 

etat — AcTUALlsiiR-fiTATfetaf, percept] 
si seqest vide alors 

but'- Formulkh-Bu j{4tat) 

probtetne*— FORMULER-PROBLfeME(tfltff, but) 

seq — Exp lo ner { probleme) 
si sm/ = tMuT alors retourner une action vide 
a crion «— Premier (se?) 

ift*f / ReSTE(5^) 
retourner action 
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Plan 



□Agents de resolution de problemes 

□ Problemes bien definis 

□Exemples de problemes 
□Recherche de solutions 

□Strategies d'explorations : 

□ Non informees, 

□ Informees (heuristiques) 

□Fonctions heuristiques 
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Problemes bien Definis 
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Definition d'un probleme 

□Information que I'agent utilise 
pour decider quoi faire. 

□Essentiellement : 
□ information = etats + actions. 
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Probleme : cinq composants 



□L'etat initial du probleme : une ville, 

□Les actions : passer d'un etat a un autre, 

□Modele de transition : definit l'etat resultant de 
I'execution d'une action a partir d'un etat, 

□Test de buts : determine si un etat donne est un 
etat but (concret : Dans(Bucarest), abstrait : etat 
d'echec et mat). 

□Le cout du chemin : cout numerique de 
performance de I'agent (longueur en km). 

H. Ghazouani & M. Fourati 18 



Espace d'etats 



□Espace d'etats = etat initial + actions + modele 
de transitions. 

□L'ensemble de tous les etats accessibles par 
une sequence d'actions a partir de I'etat initial. 

□ L'espace d'etats est un graphe dont les nceuds 
sont les etats et les liens entre les nceuds 
torment les actions. 

□ Un chemin est une sequence d'etats reliees par 
une sequence d'actions. 
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Graphe de I'espace d'etats de 
I'agent en Roumanie 



□Abstraction : suppression des details : 
paysage, meteo, radio, ... 
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Exemples de problemes 
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Types de problemes 



□Problemes de jouets {Toys problems) : illustrer 
ou experimenter diverses methodes de 
resolution de problemes (recherche). 

□Problemes du monde reel : un probleme reel 
dont la description est compliquee, mais on peut 
trouver une idee de leur formalisation : 

□ Certains sont des extensions du probleme de 
Roumanie (systemes embarques dans les voitures, 
voyageur de commerce), 

□ D'autres sont plus complexes (routage de flux video, 
planification d'operations militaires). 
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Exemples de problemes de 
jouets 



□Jeu de taquin, 

□ Probleme des tours de Hanoi, 

□ Probleme du chien, de la chevre et du chou, 
□L'aspirateur, 

□Le probleme des huit reines, 

□Les mots croises, 

□Les jeux d'echecs, de dames,... 
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Exemple l(Aspirateur) 



Etats : 

Les emplacements 
de I'agent et de la 
poussiere 



Etat initial : 
Un etat arbitral re 



Actions : 

Gauche, droite, 
aspirer 



Cout 
1 par deplacement 





R 







Test du but : 

Verifie que le sol 
est propre 



Modele de transition : 

Effets prevus a part 
quelques uns 
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Exemple 2 (Voyageur en 
Roumanie) 



Etats : 

Graphe des points 
de la carte 



Etat initial : 

Point de depart 
arbitraire 



Test du but : 
Destination finale 



Actions : 

Arretes sortantes 
d'un point 



Cout 

Distance, duree, 
difficulty, danger, 
etc. 



Modele de transition : 
Ville suivante 
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Exemple 3 (Jeu 



Etats : 

Un etat est une 
configuration du jeu 
de taquin 



Actions : 

Deplacer une case a 
droite, a gauche, en 
haut, en bas. 



Etat initial : 
Un etat arbitraire 



Cout 

Un point par 
deplacement, nombre 
de cases mal placees, 
etc. 



Test du but : 
Un etat arbitraire 



Modele de transition : 

Etats resultants des 
actions 
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Exemple 4 (Huit 



Etats : 

Configuration de 0 a 8 
reines sur la grille sans 
conflit 



Actions : 

Ajouter une reine sur 
n'importe quelle case vide 

la plus a gauche de la 
grille sans creer de conflit 



Etat initial : 
La grille vide 



Test du butt : 

Configuration de huit 
reines avec aucune reine 
sous attaque 



Cout 

Un cout constant pour 
chaque action ou 0 



Modele de transition : 
Configuration resultante 
de I'ajout d'une reine 
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Exercice (representation du 
probleme des bidons) 



□Vous disposez de 2 bidons, un de 4 
gallons et I'autre de 3 gallons, vides. 

II n'y a aucune marque de graduation. 

Vous disposez egalement d'une pompe 
capable de remplir les bidons. 

□Comment remplir le bidon de 4 gallons 
avec exactement 2 gallons d'eau ? 
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Espace d'etats de I'aspirateur 




Exercice 



□Representer I'espace d'etats 
du probleme de bidons. 
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Espace d'etats du probleme 
des bidons 




Etats buts dans I'espace d'etats 
du probleme des bidons 




Chemin (non une solution) dans 
I'espace d'etats 




Une solution (optimale) du 
probleme des bidons 




Exemple d'un espace d'etats 
infini 



□ Les etats : entiers naturels. 

□ Noeud initial : 15. 

□ Noeud but : 4. 

□ Les actions sont deux fonctions f et g : 

□ f(x)=3x, 

□ g(x)=x/2 (partie entiere). 

□ Modele de transition : etats resultants des actions. 

□ Cout : constant. 

M. Fourati & H. Ghazouani 36 



Exemple d'un espace d'etats 
infini 




Plan 



□Agents de resolution de problemes 
□Problemes bien definis 
□Exemples de problemes 

□ Recherche de solutions 

□Strategies d'explorations : 
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□Fonctions heuristiques 
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Recherche 
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Recherche de solutions 



□Une solution est une sequence d'actions. 

□Les algorithmes d'exploration examinent 
diverses sequences d'actions possibles a 
partir de I'etat initial, c'est I'arbre 
d'exploration espace d'etats) : 

□ Etat initial : racine, 

□ Branches : actions, 

□ Noeuds : etats de I'espace d'etats du 
probleme. 
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Arbre d'exploration partiel de 
I'itineraire Arad-Bucarest 
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Arbre d'exploration partiel de 
I'itineraire Arad-Bucarest 
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Arbre d'exploration partiel de 
I'itineraire Arad-Bucarest 




Exploration de I'exemple 



1 . Le noeud racine est le noeud initial (Arad). 

2. On teste si I'etat courant (Arad) est un etat but. 

3. Si oui, on renvoie la solution et arret. 

4. Si non, et si I'etat peut etre developpe, on developpe 
I'etat courant (fils : Sibiu, Timisoara, Zerind). 

5. On selectionne I'etat a examiner, les autres restent en 
attente. 

6. On revient a 2 avec I'etat selectionne est I'etat courant. 
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Frontiere 



□Nceuds feuilles generes mais non 
encore developpes. 




M. Fourati & H. Ghazouani 



45 



Algorithme general 
d'exploration en arbre 



fonctiun ExpLURt;R-ARBRfc( probleme) retourne une solution, ou cchec 
initialiser la frontifere avec I'etat initial dc problems 
fa ire en boucle 

si la frontiers est vide alors retourner echec 
choisir un nceud feuille et I'enlever de la frontier? 

si le noeud contient un etat but alors retourner la solution correspondante 
developper le naeud choisi, en ajotitant les noeuds obtenus a la frontiere 
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Chemins avec boucles et 
chemins redondants 



□Chemins avec boucles (cas particulier) 
□Presence d'etats repetes, 
□Arbre d'exploration infini. 

□Chemins redondants : 

□Plusieurs fagons d'aller d'un etat a un 
autre. 

□Problemes imoraticables meme si on 



evite les bouc 



es. 
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Boucle 




Redondance 



Neamt 





Sibiu 



Dobreta 



Bucharest 
Giurgiu 



Elorie 
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Algorithme general 
d'exploration en graphe 



ULes algorithmes qui oublient leur histoire sont 
condamnes a la repeter 

Artificial Intellgience : modern approach 

fonction BXPLORER-GRAPHEt/wktemr) retourne mw solution, ou echec 
initialiser la frontiers avec I'etat initial de probleme 
initialiser Vememble des nwuds explores d vide 
faire en bone I c 

si lu frontiers est vide alors reiourner echec 

choisirun noeud feuilleet ]' en lever de la Iron tie re 

si le nceud contient tin Stat but alors retoumer la solution eorrespondante 
ft jo ntcr le ncettd a Vensemble des nwuds explores 
developper le naeud choisi, en ajoutant les nceuds obtenus a la frontiere 

settlement si lis tie sont nl dans la fronti&rej 

nidans t'ensem bte des n vends explores* 
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Separation noeuds Frontiere 
explores 
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Separation noeuds Frontiere- 
explores 




Noeuds de Noeud 
la f rontiere explore 
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Separation noeuds Frontiere- 
explores 




Noeuds de Noeuds 
la frontiere explore 
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Separation noeuds Frontiere- 
explores 




Noeuds de Noeuds 
la frontiere explore 
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Exploration 



□ Les algorithmes d'exploration ont la meme structure de base, 
ils different par la strategie d'exploration. 

□ Noeud de recherche : 

□ Etat : I'etat de I'espace des etats. 

□ Nceud parent : le noeud dans I'arbre d'exploration qui a 
produit ce noeud. 

□ Action : L'action qui a ete appliquee au parent pour generer 
ce noeud. 

□ Cout du chemin : cout g(n) du chemin a partir de I'etat initial 
jusqu'a ce noeud. 

□ Noeud * etat. 
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Evaluation de la resolution de 
problemes 



□Completude : si une solution existe, 
I'algorithme garanti son obtention. 

□Optimalite : la solution trouvee est la 
meilleure. 

□Complexite en temps : temps 
necessaire pour trouver la solution. 

□Complexite en espace : memoire 
necessaire pour effectuer I'exploration. 
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Complexite 



□La complexite en temps et en espace 
depend de : 

□o : facteur de branchement, c'est le 
nombre maximal de successeurs d'un 
noeud donne, 

ad : profondeur a laquelle se trouve le 
me lleur nceud solution (moins d'etapes 
depuis la racine), 

am : longueur maximale d'un chemin dans 
I'espace d'etats. 
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Plan 



□Agents de resolution de problemes 
□Problemes bien definis 
□Exemples de problemes 
□Recherche de solutions 

□ Strategies cTexplorations : 

□ Non informees, 

□ Informees (heuristiques) 

□Fonctions heuristiques 
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Strategies d'exploration 
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Types de strategies 
d'exploration 



□Exploration aveugle : 

□ Pas d'autres informations sur les etats que 
celles fournies dans la definition du 
probleme. 

□ Elles generent des successeurs et 
distinguent un etat final d'un etat non final. 

□Exploration informee (heuristiques) : 
peuvent determiner si un etat non final est 
meilleur qu'un autre. 
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Plan 



□Agents de resolution de problemes 
□Problemes bien definis 
□Exemples de problemes 
□Recherche de solutions 
□Strategies d'explorations : 

l Non informees, 

□ Informees (heuristiques) 
□Fonctions heuristiques 
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Exploration non informee 



□ N'exploitent aucune information sur la structure de I'arbre ou la 
presence potentielle de noeuds-solution pour optimiser la recherche : 

□ Exploration en largeur d'abord 

□ Exploration a cout uniforme 

□ Exploration en profondeur d'abord 

□ Exploration en profondeur limitee 

□ Exploration iterative en profondeur 

□ Exploration bidirectionnelle 

□ La plupart des problemes reels sont susceptibles de provoquer une 
explosion combinatoire du nombre d'etats possibles. 
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Exploration en largeur 
d'abord 
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Principe de Texploration en 
largeur d'abord 

□On commence par developper le noeud racine puis tous 
les noeuds successeurs, puis les successeurs des 
successeurs, ... 

□Tous les noeuds a une profondeur i sont developpes 
avant ceux de niveau i+1 . 

□Graphe : on rechercherait tous les points dans un rayon 
circulaire fixe, augmentant ce cercle pour rechercher des 
intersections de plus en plus loin du noeud initial. 

□ II suffit de memoriser la frontiere dans une file FIFO : les 
noeuds les plus profonds sont stockes a la fin et les 
moins profonds au debut. 
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Algorithme d'exploration en 
largeur d'abord 



function Exploration - Lahgi<uh( probfeme) rctourne une solution, ou echec 

namd— un noeud avec £tat = probleme&T\rAmr\A\., CoOt-Chemin = 0 
si probleme.Thsr-Burincettd.tr at) alors retoumer Solution (nam*/) 
frontier? — une file FIFO avcc noeud com me soul element 
explore *— un ensemble vide 
fa ire en boucle 

si Vwe?{ frontier?) alors retoumer echec 

ncetui— PoHfrantie-n?) l m choisit le nceud le mo ins pro fond dans la frontier? *J 

ajout nceud.&TAT a explore 

pour chaque action dans problemeAc tion s[nccm1A: ; \ : ) faire 
fils*— Nllu d-Fils( problem e, noeud, action \ 
si /i/js.£tat n'est pas dans explore* ou dans /row abators 

si /jroW£me.TEST-BuT(/jfc,ETAT) alors retoumer Solution [fils) 
m Here *— Insurer [fite, frontier?) 
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Exemple d'exploration en largeur 
d'abord en graphe 
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Exemple d'exploration en largeur 
d'abord en graphe 
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Exemple d'exploration en largeur 
d'abord en graphe 




Exemple d'exploration en largeur 
d'abord en graphe 
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Exemple d'exploration en largeur 
d'abord en graphe 
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Exemple d'exploration en largeur 
d'abord en graphe 




(D) a la frontiere car il y 
est deja 
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Exemple d'exploration en largeur 
d'abord en graphe 
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Exemple d'exploration en largeur 
d'abord en graphe 
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Exemple d'exploration en largeur 
d'abord en graphe 
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Exemple d'exploration en largeur 
d'abord en graphe 




(G) a la frontiere car il a 
deja etait explore 
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Exemple d'exploration en largeur 
d'abord en graphe 




(B) a la frontiere car il a 
deja etait explore 
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Exemple d'exploration en largeur 
d'abord en graphe 




pas I'exploration du fils 
de H il effectue le test 
du but avant de le 
placer dans la frontiere 
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Exemple d'exploration en largeur d'abord 
en graphe (schema arborescent) 
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Exemple d'exploration en largeur d'abord 
en graphe (schema arborescent) 
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Exemple d'exploration en largeur d'abord 
en graphe (schema arborescent) 
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Exemple d'exploration en largeur d'abord 
en graphe (schema arborescent) 
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Exemple d'exploration en largeur d'abord 
en graphe (schema arborescent) 
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Exemple d'exploration en largeur d'abord 
en graphe (schema arborescent) 
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Exemple d'exploration en largeur d'abord 
en graphe (schema arborescent) 
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Exemple d'exploration en largeur d'abord 
en graphe (schema arborescent) 
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Exemple cT exploration en largeur d'abord 
en graphe (schema arborescent) 




Bat 

Pas d'ajout du fils de C but 
(D) a la frontiere car il y 
est deja 
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Exemple d'exploration en largeur d'abord 
en graphe (schema arborescent) 
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Exemple d'exploration en largeur d'abord 
en graphe (schema arborescent) 




Exemple d'exploration en largeur d'abord 
en graphe (schema arborescent) 




Exemple d'exploration en largeur d'abord 
en graphe (schema arborescent) 




Exemple d'exploration en largeur d'abord 
en graphe (schema arborescent) 




Pas d'ajout du fils de D but 
(G) a la frontiere car il a 
deja etait explore 
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Exemple d'exploration en largeur d'abord 
en graphe (schema arborescent) 




Exemple d'exploration en largeur d'abord 
en graphe (schema arborescent) 




Exemple d'exploration en largeur d'abord 
en graphe (schema arborescent) 




pas I'exploration du fils 
de H il effectue le test 
du but avant de le 
placer dans la frontiere 
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Performance 



□Completude : oui, si le noeud but se trouve 
a une profondeur d, I'algorithme le trouvera 
une fois qu'il genere les noeuds des niveaux 
precedents, mais b doit etre fini . 

□Optimalite : pas necessairement, pour la 
garantir il faut que le cout du chemin soit 
une fonction non decroissante de la 
profondeur du noeud (ex. cout fixe) 
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Performance 



□Complexite temporelle : 
J [+b+b 2 +b 3 +...+b d =0{b«). 

> Si le test de but se fait une fois le nceud 
choisi (comme I'algorithme general) et 
non une fois produit la complexite serait 
OibP* 1 ). 

□Complexite spatiale : 0(ib d ) puisqu'il faut 
garder les noeuds en memoire (0(£> d " r ) 
explores et 0(t> d ) sur la frontiere). 
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Conclusion 



□ Efficace si on ne sait pas par ou se trouve le but (toutes 
les etapes ont le meme cout). 

□Mais une perte de temps et d'espace si on connaTt plus 
d'informations sur notre destination. 



□N'est pas adaptee aux problemes exponentiels : 



Profondeur 


Noeuds 


Temps 


Memoire 




b=10 


1 000 000 


1000 octets/noeud 






nceuds/seconde 




12 


10 12 


13 jours 


1 petaoctets 


16 




350 annees 


1 0 exaoctets 



M. Fourati & H. Ghazouani 



97 



Exploration a cout uniforme 
( Uniform Cost Search 
UCS) 



Principe de I'exploration a 
cout uniforme 



□ Developpement du noeud qui a le cout de chemin le plus 
faible g(n) : 

□ g(n)=cout a partir du noeud initial jusqu'au noeud 
developpe. 

□ La frontiere est stockee dans une file thee par cout (g) 
croissant (file de priorite). 

□ Le test du but est applique a un noeud une fois choisi. 

□ Un test verifie si un meilleur chemin existe vers un noeud 
sur la frontiere (table de hachage pour ['implementation). 

□ Equivalent a I'exploration en largeur d'abord si tous les 
couts des actions sont egaux. 
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Algorithme d'exploration a 
cout uniforme 



fonction Exploration -Co u t-Umi : ukme=( probleme) retourne une solution, ou £chec 

namd^un noeud avec £tat = proW^me. EtaMnetiai., Cout-Chkmin =0 

frontiere— une file de priority ordonn£e par CoOt-Chemin, avec noeud comme seul element 

explore'— un ensemble vide 

fa ire en bo tide 

si Vide? {frontier?) alors rctourncr echec 

noeud— Pop( fron twre) f 9 choisit le noeud de la frontiere avec le cout Je plus faible V 
si i>robfeme t TEST-huT{noeud t fiTAT) alors relourner So lution {noeud) 
ajouter noeud. Etat a explore* 

pour chaquc action dans pmbt&me.AcTiaN&(ntBud.&TAT) faire 
fits*- Nceud - Fils( prvbleme, noeud, action) 
si fils£jAT n'efit pas dans explore* ou dans frontiere alors 

frontiere— Insurer [fi Is, frontiere) 
sinon si /?/s.Etat est dans frontiere avec un CoOt-Chemin plus eleve alors 

remplacer ce noeud de frontiere avec fils 
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Exemple 




Fagaras 



Rimnicu 
Vilcea 



97 



Pitesti 



101 
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211 



Bucarest 



Exemple 



File (frontiere) 


Noeud developpe 


[(Sibiu.O)] 





Sittu 
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Exemple 



File (frontiere) 


Noeud developpe 


[(Sibiu.O)] 





Sibu 
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Exemple 



Sibu 



80 



.J* 



99 



File (frontiere) 


Noeud developpe 


[(Sibiu.O)] 


(Sibiu,0) 



FagarasY~" 



\_/ 



Rimnicu 
Vilcea 
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Exemple 




Rimnicu 
Vilcea 
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File (frontiere) 


Noeud developpe 


[(Sibiu.O)] 


(Sibiu,0) 


[(Rimnicu Vilcea,80), 
(Fagaras,99)] 
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Exemple 



Sibu 



80 



99 



Fagaras 



Rimnicu 
Vilcea 



97 



M > 



Pitesti 



File (frontiere) 


Noeud developpe 


[(Sibiu,0)] 


(Sibiu.O) 


[(Rimnicu Vilcea,80), 
(Fagaras,99)] 


(Rimnicu Vilcea,80) 
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Exemple 




Rimnicu 
Vilcea 



Pitesti 
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File (frontiere) 


Noeud developpe 


[(Sibiu.O)] 


(Sibiu.O) 


[(Rimnicu Vilcea,80), 
(Fagaras,99)] 


(Rimnicu Vilcea,80) 


[(Fagaras,99), 
(Pitesti, 177)] 
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Exemple 




Rimnicu 
Vilcea 



Pitesti 
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File (frontiere) 


Noeud developpe 


[(Sibiu.O)] 


(Sibiu.O) 


[(Rimnicu Vilcea,80), 
(Fagaras,99)] 


(Rimnicu Vilcea,80) 


[(Fagaras,99), 
(Pitesti, 177)] 


(Fagaras,99) 



211 



^ Bucarest 

/ 
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Exemple 




Rimnicu 

Vilcea 97 



Pitesti 
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File (frontiere) 


Noeud developpe 


[(Sibiu.O)] 


(Sibiu,0) 


[(Rimnicu Vilcea,80), 
(Fagaras,99)] 


(Rimnicu Vilcea,80) 


[(Fagaras,99), 
(Pitesti, 177)] 


(Fagaras,99) 


[(Pitesti, 177), 
(Bucarest,310)] 




A A 
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Exemple 




Rimnicu 
Vilcea 



Pitesti 



101 
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File (frontiere) 


Noeud developpe 


[(Sibiu.O)] 


(Sibiu,0) 


[(Rimnicu Vilcea,80), 
(Fagaras,99)] 


(Rimnicu Vilcea,80) 


[(Fagaras,99), 
(Pitesti.177)] 


(Fagaras,99) 


[(Pitesti.177), 
(Bucarest,310)] 


(Pitesti,177) 


A A 

211 




^ Bucarest 
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Exemple 



Sibu 



99 



80 



Fagaras 



Rimnicu 
Vilcea 



97 



Pitesti 



101 
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File (frontiere) 


Noeud developpe 


[(Sibiu.O)] 


(Sibiu,0) 


[(Rimnicu Vilcea,80), 
(Fagaras,99)] 


(Rimnicu Vilcea,80) 


[(Fagaras, 99), 
(Pitesti, 177)] 


(Fagaras, 99) 


[(Pitesti, 177), 
(Bucarest,310)] 


(Pitesti, 177) 


[(Bucarest,278)] 





211 



Bucarest 
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Exemple 



Sibu 



99 



80 



Fagaras 



Rimnicu 
Vilcea 



97 



Pitesti 



101 
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File (frontiere) 


Noeud developpe 


[(Sibiu.O)] 


(Sibiu,0) 


[(Rimnicu Vilcea,80), 
(Fagaras,99)] 


(Rimnicu Vilcea,80) 


[(Fagaras, 99), 
(Pitesti, 177)] 


(Fagaras, 99) 


[(Pitesti, 177), 
(Bucarest,278)] 


(Pitesti, 177) 


[(Bucarest,278)] 


(Bucarest,278) 
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Bucarest 
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Exemple 



Sibu 



99 



80 



Fagaras 



Rimnicu 
Vilcea 



97 



Pitesti 



101 
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211 

Bucarest 



Performance de I'exploration 
a cout uniforme 



□ Completude : oui, si le cout de chaque etape > a une constante 
positive £ (eviter les chemins infinis d'actions a cout nul). 

□ Optimalite : oui, les noeuds sont developpes dans I'ordre de cout 
de chemin optimal (mais les couts ne doivent pas etre negatifs). 

□ Complexity en temps et en espace : 

□ Soit C* le cout de la solution optimale. 

□ Soit e le cout minimal de chaque action. 

□ Dans le pire des cas: 0(b 1+c * /e ) peut etre >b d (peut explorer des 
petits chemins avant d'explorer des chemins plus couteux 
mais plus interessants) . 

□ Egal a 0(b d+1 ) si les couts des actions sont egaux. 
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Remarque sur I'optimalite 



□L'optimalite est garantie car I'algorithme 
developpe les noeuds par ordre de cout de 
chemin optimal : 

□Tout nceud choisi pour le developpement 
est atteint par un chemin optimal, car 
sinon un autre noeud sur la frontiere aurait 
etait choisi. 

□ Le cout des actions n'est jamais < 0, done 
les chemins ne deviennent jamais plus 
court lorsque des noeuds sont ajoutes. 
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Et si les c 
negatifs ? 



□Developpement : 



B 
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etaient 



File (frontiere) 


Noeud 
developpe 


[(A,0)] 


(A,0) 


[(C,1),(B,4)] 


(C,1) 


[(B,4),(E,21)] 


(B,4) 


[(D,9),(E,21)] 


(D,9) 


[(F,11),(E,21)] 


(F,11)testdu 
but reussi 



Et si les couts 
negatifs ? 



□Solution retournee 
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etaient 



File (frontiere) 


Noeud 
developpe 


[(A,0)] 


(A,0) 


[(C,1),(B,4)] 


(C,1) 


[(B,4),(E,21)] 


(B,4) 


[(D,9),(E,21)] 


(D,9) 


[(F,11),(E,21)] 


(F,11)testdu 
but reussi 
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Et si les c 
negatifs ? 



□Mais ... 
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etaient 



File (frontiere) 


Noeud 
developpe 


[(A,0)] 


(A,0) 


[(C,1),(B,4)] 


(C,1) 


[(B,4),(E,21)] 


(B,4) 


[(D,9),(E,21)] 


(D,9) 


[(F,11),(E,21)] 


(F,11)testdu 
but reussi 
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Remarque sur la completude 



□L'algorithme garanti la completude 
si b est fini car : 

□II existe un nombre fini d'actions 
avant que le cout du chemin soit 
egal au cout du but, done il sera 
force ment atteint. 

□ Mais le cout des actions doit etre 
superieur a 0, sinon boucle infinie. 
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Et si les couts 



□ Dans le cas de I'exploration 
d'arbres, les boucles infinies 
sont faciles a comprendre : 
I'exploration n'atteint jamais 
D, elle bouclera entre les 
etats A, B et C. 

□ Dans le cas de I'exploration 
de graphes, les espaces 
d'etats infinis sont 
problematiques : imaginez 
que le cout des noeuds de la 
branche infinie partant de B 
ne depassera jamais 50. 

M. Fourati & H. Ghazouani 
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A Noeud initial 




A Noeud initial 




Exploration en profondeur 
d'abord (Depth First 
Search DFC) 



Principe de I'exploration en 
profondeur d'abord 



□Developper toujours le noeud 
le plus profond de la frontiere 
courante. 

□Frontiere implementee par 
une file LIFO. 

□Variante :fonction recursive. 
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Exploration en profondeur 
d'abord 
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Exploration en profondeur 
d'abord 
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Exploration en profondeur 
d'abord 
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Exploration en profondeur 
d'abord 
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Exploration en profondeur 
d'abord 
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Exploration en profondeur 
d'abord 
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Exploration en profondeur 
d'abord 
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Exploration en profondeur 
d'abord 
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Exploration en profondeur 
d'abord 
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Exploration en profondeur 
d'abord 
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Exploration en profondeur 
d'abord 




M. Fourati & H. Ghazouani 



133 



Exploration en profondeur 
d'abord 
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Exploration en profondeur 
d'abord 
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Performances 



□Completude : oui, si I'espace 
d'etats est fini et pas de 
chemins redondants 
(recherche en arbre). 
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Boucle dans I'exploration en 
arbre 




Arad 



! Sibiu ; 



Timisoara 



; Zerind 



i 
i 
i 

l _ 



/ \ 7 N ' >> t Rimnicu x ' \ ' N ' \ ' \ 

[ Arad ;1 Fagaras Jl Oradea ll l' % Arad ;i Lugoj i' % Arad Oradea ; 



71" 

/ »\ 



/ \ 
/ \ 
/ \ 



~ 7\~ 

/ \ 
/ \ 



\ \ 
\ \ 
\ \ 



\ \ 



AT - 

f \ N 

\ \ 
\ \ 



- ~ K 

/ \ 
/ \ 
/ \ 



/ l\ 



\ \ 
\ \ 
\ \ 



/ \ 
/ \ 
/ \ 
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Boucle dans I'exploration en 
arbre 
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Boucle dans I'exploration en 
arbre 
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Boucle dans I'exploration en 
arbre 




M. Fourati & H. Ghazouani 



140 



Performances 



□Completude : oui, si I'espace d'etats est fini 
et pas de chemins redondants (recherche en 
arbre). 

□Optimalite : non (imaginez que C ou J soit 
un nceud but). 

□Complexite temporelle : 0(£> m J m peut etre 
>d. 

□Complexite spaciale : 
□ O(bm), lineaire pour /' exploration en arbre 
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Exploration en profondeur d'abord en 
arbre avec liberation de la memoire 
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Exploration en profondeur d'abord en 
arbre avec liberation de la memoire 
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Exploration en profondeur d'abord en 
arbre avec liberation de la memoire 
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Exploration en profondeur d'abord en 
arbre avec liberation de la memoire 
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Exploration en profondeur d'abord en 
arbre avec liberation de la memoire 
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Exploration en profondeur d'abord en 
arbre avec liberation de la memoire 
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Exploration en profondeur d'abord en 
arbre avec liberation de la memoire 
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Exploration en profondeur d'abord en 
arbre avec liberation de la memoire 
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Exploration en profondeur d'abord en 
arbre avec liberation de la memoire 
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Exploration en profondeur d'abord en 
arbre avec liberation de la memoire 
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Exploration en profondeur d'abord en 
arbre avec liberation de la memoire 
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Exploration en profondeur d'abord en 
arbre avec liberation de la memoire 
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Performances 



□Completude : oui, si I'espace d'etats est fini et pas 
de chemins redondants (recherche en arbre). 

□Optimalite : non (imaginez que C ou J soit un 
noeud but). 

□Complexite temporelle : 0(b m ) m peut etre >d. 

□Complexite spatiale : 

□ O(bm), lineaire pour I' exploration en arbre. 

□ 0(b m ) pour I'exploration en graphe. 

□ O(m) en arbre avec backtraking. 
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Exploration en profondeur 
limitee {Depth Limited 
Search DLS) 



Principe de I'exploration en 
profondeur limitee 



□Profondeur limitee : /. 

□Noeuds a la profondeur /sont 
consideres sans successeurs. 

□Resout le probleme du chemin 
infini. 

□Equivalent a profondeur d'abord 
si I est infinie. 
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Performances 



□Completude : uniquement 
lorsque l>d. 

□Complexite temporelle : O(b'). 

□Complexite spatiale : O(bl). 

□On peut ameliorer I'efficacite 
avec une bonne connaissance du 
probleme. 



M. Fourati & H. Ghazouani 



158 



Exploration iterative en 
profondeur IDS (ou 
exploration par 
approfondissement iteratif) 



Principe de I'exploration 
iterative en profondeur 



□ Variante de I'exploration en profondeur d'abord. 

□ Determine la meilleure profondeur limite. 

□ Essaye toutes les profondeurs graduellement (0, puis 1 , puis 
2, ...) jusqu'a atteindre le but (profondeur optimale d). 

□ Combine les avantages de : 

□ I'exploration en largeur d'abord (complete et optimale) et 

□ I'exploration en profondeur d'abord (complexite 
temporelle). 

□ Recommandee lorsque I'espace d'etats est important et la 
profondeur de la solution est inconnue. 
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Algorithme d'exploration 
iterative en profondeur 



function ExPLORATiON-lTfiRATivE-pROFONDEURf/w/jfemtf) retourne Line solution, ou Gchec 
pour profondeur = 0 jusqua oo faire 
rstefoaf^ Exploration -LimitI^ 
si rhultat # arret alors retourner rrci//fflr 
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Exemple de I'exploration 
iterative en profondeur 



Limite=0 



>© 
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Exemple de I'exploration 
iterative en profondeur 



Limite=0 
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Exemple de I'exploration 
iterative en profondeur 



Limite=0 
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Exemple de I'exploration 
iterative en profondeur 




Limite=1 
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Exemple de I'exploration 
iterative en profondeur 
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Exemple de I'exploration 
iterative en profondeur 
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Exemple de I'exploration 
iterative en profondeur 




Exemple de I'exploration 
iterative en profondeur 




Exemple de I'exploration 
iterative en profondeur 



Limite=2 
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Exemple de I'exploration 
iterative en profondeur 



Limite=2 

^ — ^ ^ "~ ^» 

/ \ ✓ \ 

' _ \ / _ \ 

f D i ' O « 

\ D / \ O / 



; D ;; E ;i F G ; 
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Exemple de I'exploration 
iterative en profondeur 




/ \ s \ / \ ✓ s / \ / \ ✓ \ ✓ \ 



; D E ;i F G ; ; D E j; F G ; 

\ /\ /\ /\ / \ /\ /\ /\ / 

V S S X N S V S N S S y N ^ S S X 

^^^^^^^^^^^^^^^^^^^^^ ^^^^^^^^^^^^^^^^^^^^^^ 
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Exemple de I'exploration 
iterative en profondeur 




^^^^^^^^^^^^^^^^^^^^^ ^^^^^^^^^^^^^^^^^^^^^^ /^^^^^^^^^^^^^^^^^ 
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Exemple de I'exploration 
iterative en profondeur 




^^^^^^^^^^^^^^^^^^^^^^ ^^^^^^^^^^^^^^^^^^^^^^^ ^^^^^^^^^^^^^^^^^^ 
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Exemple de I'exploration 
iterative en profondeur 
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Exemple de I'exploration 
iterative en profondeur 
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Exemple de I'exploration 
iterative en profondeur 
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Exemple de I'exploration 
iterative en profondeur 
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Exemple de I'exploration 
iterative en profondeur 

Limite=3 »(A) 

(B) (C) 

', d; \E) if; ;g; 
Ch; cV; Cj ) Ck; (l; Cm; (n; Co; 

^ ^ ^ ^ r ^ ^ 
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Exemple de I'exploration 
iterative en profondeur 

Limite=3 »(§) 

(B) "(C) 

(d) (i) (n <G> (d; (e; (f; (g; 
(h) cl) C j ;. (k) CO Cm; Cn; Co; Ch) (l ; uf ;. f fO CO Cm; (n) (6) 





0 




IP 
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Exemple de I'exploration 
iterative en profondeur 



Limite=3 »(A) 

(B) (C) 

', d; \E) if; ;g; 
Ch; cY; Cj ) Ck; Cl; Cm; Cn; Co; 

^ A* ** A- ^ A* ^ A* ^ A* ^ A* 





0 




IP 







id; ;e; ;f; ^g; 
Ch; C i ; Cj) Ck; C l; Cm; Cn; Co; 
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Exemple de I'exploration 
iterative en profondeur 



Limite=3 »(A) 

(B) (C) 

', d; \E) if; ;g; 
Ch; cY; Cj ) Ck; Cl; Cm; Cn; Co; 

^ A* ** A- ^ A* ^ A* ^ A* ^ A* 





0 




IP 







id; ;e; ;f; ^g; 
Ch; C i ; Cj) Ck; C l; Cm; Cn; Co; 
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Exemple de I exploration 
iterative en profondeur 



3 »@ 



cc; 





Limited 

id; ;e; if; ;g; 
Ch; cY; Cj ) Ck; Cl; Cm; Cn; Co; 

^ a* ** a- ^ x ^" ;f ^ a" ** 



id; ;e; ;f; ^g; 
Ch; C i ; Cj) Ck; C l; Cm; Cn; Co; 



Cc; 

»(d) (e) Cf; Cg; 

Ch; cV; Cj; Ck; Cl; Cm; Cn; Co; 
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Exemple de I'exploration 
iterative en profondeur 

Limite=3 »(§) 



cc; 





0 











d; 



(G) 




Ch; C'f; Cj; (K) CO Cm; Cn; (6) Ch; Cl ; Cj ;. Ck; CO Cm; Cn; Co; Ch; cV; Cj; Ck; CO Cm; Cn; Co; 
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Exemple de 
iterative en i 




I'exploration 
)rofondeur 
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Exemple de I'exploration 
iterative en profondeur 




^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 
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Exemple de I'exploration 
iterative en profondeur 




^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 
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Exemple de I'exploration 
iterative en profondeur 
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Exemple de I'exploration 
iterative en profondeur 
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Exemple de I'exploration 
iterative en profondeur 
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Performances 



□ Completude : oui si b est fini. 

□ Optimalite : oui si cout est une fonction non decroissante 
de la profondeur du noeud. 

□ Complexite en temps : 



□ (d+l)b° + db 1 + (d-l)b 2 +...+ b d =0(&). 





Largeur d'abord 


Iterative en profondeur 


b=10 
d=5 


N=1 +10+1 00+1 000+1 0000+1 000 
00+999990=1111101 


N=6+50+400+3000+20000+1 00000 
=123456 



□ Complexite en espace : 0{bd). 

□ Peut etre modifiee pour une strategie de cout uniforme. 



M. Fourati & H. Ghazouani 



191 



Exploration 
bidirectionnelle 



Principe de I'exploration 
bidirectionnelle 



□ Execution de deux explorations simultanement : 

□ en aval depuis I'etat initial 

□ en amont a partir du but 

□ Arret lorsque les deux frontieres se rencontrent au milieu. 

□ Reduction de moitie de la profondeur exploree. 

□ S/erification de I'existence d'un noeud commun aux deux arbres 

□ Tenir une table de hachage. 

□ Oonserver tous les noeuds d'un des arbres. 

□ Difficile a appliquer si le but est une description abstraite (n 
reines). 
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Schematisation de 

I' exploration bidirectionnelle 
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Schematisation de 

I' exploration bidirectionnelle 
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Schematisation de 

I' exploration bidirectionnelle 
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Schematisation de 

I' exploration bidirectionnelle 




Schematisation de 

I' exploration bidirectionnelle 
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Schematisation de 

I' exploration bidirectionnelle 
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Schematisation de 

I' exploration bidirectionnelle 
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Performances 



□Completude : oui. 

□Optimalite : oui si les couts des 
etapes sont identiques et les 
deux directions utilisent une 
exploration en largeur d'abord. 

□Complexite en temps : 0(b d/2 ). 

□Complexite en espace : 0(b d/2 ). 
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Comparaison des strategies 
d'exploration d'arbres 



Critert* 


l p Yooi i f 

l+dl JtJL LI 1 

d'abord 


{ Wit 

LjU LI 1 

uniformc 


Prn tn nnniir 

1 1 U HJ J ILJL U 1 

d'abord 


\^ rn tn n ri p 1 1 r 

I JUJUIILJLUL 

limitcc 


l^rn fri n n j^i i r 

f J U JUIJ Uv LI I 

iterative 


1 1 i H i Yf*r 1 1 n n n n 1 1 r* 

(si applicable) 


Complete V 


Qui" 


Out** 


Non 


Non 


Qui" 




Temps 


0{b d ) 




0{b m ) 


0{b ( ) 


0{b d ) 


0(f/" 2 ) 


Espace 


G{b d ) 




0[bm) 


O(bf) 


Otbd) 




Optimal? 


Oui f 


Oui 


Non 


Non 


Oul c 


Oui crf 



b : facteur de branchement 

of : profondeur de la solution la moins 

profonde 

m : profondeur maximale de I'arbre 

d'exploration 

/ : profondeur limite 

a si b est fini 

b si les couts des etapes sont > e avec e 
positif 

c si les couts d 'eta pes sont tous identiques 
d si les deux directions utilisent une 
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Comparaison des strategies 
d'exploration de graphes 



□Meme tableau sauf : 

□La recherche en profondeur 
d'abord est complete pour les 
espaces d'etats finis. 

□Les complexites temporelle 
et spatiale sont limitees par la 
taille de I'espace d'etats. 
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Plan 



□Agents de resolution de problemes 
□Problemes bien definis 
□Exemples de problemes 
□Recherche de solutions 

□Strategies d'explorations : 

□ Non informees, 

\~ Informees (heuristiques) 

□Fonctions heuristiques 
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Strategies d'exploration 
informees (heuristiques) 



Pourquoi une exploration 
informee ? 



□Strategies d'exploration non 
informees sont generalement tres peu 
efficaces. 

□Strategies d'exploration informees : 

□Utilisent des connaissances du 
probleme : une fonction heuristique. 

□Plus efficaces que I'exploration 
aveugle. 



M. Fourati & H. Ghazouani 



206 



Strategies d'exploration 
informee 



□Exploration par la meilleur 
d'abord 
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Strategie d'exploration par le 
meilleur d'abord 



□Basee sur I'exploration en arbre et en 
graphe. 

□Le noeud a developper est choisi selon une 
fonction devaluation f(n) : 

□ La fonction f(n) est une estimation du cout. 

□ Le nceud qui a un f(n) le plus faible est 
developpe en premier. 

□ Comme I'exploration a cout uniforme mais 
f est utilisee au lieu de g pour ordonner la 
file. 
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Fonction d'evaluation f(n) 




f(B)=g(B)+h(B) 



Ug(n) : cout reel (somme 
des meilleurs couts du 
noeud initial a n). 

Uh*(n) : cout reel (somme 
des couts du noeud n au 
noeud but). 

Uh(n) : cout heuristique 
(estimation du chemin le 
moins couteux de I'etat 
du noeud n a noeud but). 
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Fonction d'evaluation f(n) 




M. Fourati & H. Ghazouani 210 



Types d'exploration par le 
meilleur d'abord 



□Exploration gloutonne par le 
meilleur d'abord. 



□Exploration A*. 



M. Fourati & H. Ghazouani 



211 



Exploration gloutonne 
par le meilleur d'abord 



Principe de I'exploration 
gloutonne meilleur d'abord 



□Developpe le noeud le plus proche du 
but (glouton). 

□f(n)=h(n). 

□Exemple du voyageur en Roumanie : 

□Heuristique h SLD : distance a vol 
d'oiseau (Straight-line distance 
SLD). 
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Heuristique h SLD 



h SLD distance a vol d'oiseau 
jusqu'a Bucarest 



Oradea 



7L 



A _ „ _1 


366 




241 


Bucarest 


M 


Neamt 


23-1 


Craiova 


160 


Oradcu 


380 


Dobrefa 


242 


Pitesti 


100 


Eforic 


161 


Kimnicu Vilcea 


193 


Fagaras 


176 


Si hiu 


253 


Giurgiu 


77 


Tim knar ;i 


329 


Hirsova 


151 


Urziccni 


80 


lasi 




Vaslni 


199 




244 


Zerind 


374 



Neamt 



75 J 



Arad 



i is 



Zerind 



L40 



, Ti misoara 

I I I 

70 

75 
Dobreta 



L5L 



Sit>iu 



99 



Fagaras 



so 



Rimnicu Vilcea 



Lugoj 



M allodia 



120 



97 



Pit esti 



211 



L46 



LOL 



13S 



. ra icva 



S7 



85 

Bucharest 
Giurcjiu 



lasi 



92 



142 



9S 



Urzi ceni 



Vasl ul 
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Exploration d'arbre gloutonne 
par le meilleur d'abord 



(a) L'etat initial > C^^ 

see 




17^ 330 193 




^2 Sibiu ^^^Bucarcs^ 
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Performances de I'exploration 
gloutonne par le meilleur d'abord 



□ Completude : 

□ Non pour I'exploration d'arbres (exemple chemin entre lasi et 
Fagaras), possibility de boucle. 

□ Oui pour I'exploration de graphes, mais I'espace des etats doit 
etre fini. 

□ Optimalite : non, 1'optimisation est locale (le chemin Arad-Sibiu- 
Rimnicu Vilcea-Pietesti-Bucarest est meilleur). 

□ Complexity en temps : 0(1/") en arbre, mais peut etre amelioree 
par le choix d'une bonne fonction heuristique. 

□ Complexity d'espace : 0(b m ), elle garde tous les noeuds en 
memoire. 
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Exploration A* : A etoile 



Principe de I'exploration A* 



□Fonction devaluation f : 

uf(n)=g(n)+h(n). 

uf(n) est le cout estime de la 
solution la moins couteuse 
passant par n. 
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Conditions d'optimalite de A* 



□A* doit utiliser une heuristique h(n) 
admissible. 

□ Une heuristique h est admissible si elle ne 
surestime jamais le cout reel pour 
atteindre le but : h(n) <h*(n) 

□Consistance (monotonie) : pour I'exploration 
de graphes : 



n©< \h(n') 



□ h(n) est consistante si pour noeud 
chaque successeur n' de n, produit c(n,a,n)^^ 
par une action a, h(n)<c(n,a,n') +h(n') ™ 
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A* : illustration 
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Etapes pour une exploration 
A* vers Bucarest 



(a) L'gtat Initial 



366 = O + 3&G 



(b) Apres developpement du nceud Arad 





303 = 14D + 253 



44 7 = 11ft + 329 



Zen nrt_ 
449 = 75 ^ 374 



(c) Apres developpement du nceud Sibiu 



Arad 




447 = us + 329 



>46 = 2SO + oee 



■115 = 23B -*- 671 m * 3B0 



413 - 220 +193 



gen nd_ 
-449 ^ 75 * 374 



(d) Apres developpement du nceud 
Rimnicu Vilcea 




415 - kT39 + 176 



526 = 3GG +■ ISO 



4T7 = 317 + *OQ 



553 = 300 -*- 253 



449 = T5 * 374 
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Etapes pour une exploration 
A* vers Bucarest 




5«1 = 338 * 253 450 = 450 + 0 - ' ■ " -•->■■ - ' t ' ■ 417 = 317+100 55,3 = 300 + 253 



(f) Apres developpement 
du n<Bud Pitesti 



SltHU 



imisoaTa, 



447 = 118 + 329 



449 - 75 * 374 




646 - 260 « 366 



671 _ 2&1 3B0 



591 = 338 + 253 450 = 450 + 0 



526 
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Performances de A* 



□ Completude : oui si b est fini et le cout des actions est superieur a 
une constante positive. 

□ Optimale : 

□ Arbre : oui si h(n) est admissible. 

□ Graphe : oui si h(n) est consistante. 

□ Complexity de temps : exponentielle, selon la longueur de la 
solution optimale. 

□ Complexity en espace : exponentielle, selon la longueur de la 



solut 



on optimale , elle garde tous les noeuds en memoire. 



□ Habituellement, on manque d'espace bien avant de manquer de 
temps. 
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Exemples d'application de A* 



M. Fourati & H. Ghazouani 



Exemple 1 

H Noeud source 
|i] Noeud destination 
Obstacle 
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■ 




■ 
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Exemple 1 



Noeud developpe 



Noeud genere 



Cout depuis 
la source 



Cout vers 
la destination 



G + H 




Reference au 
parent 
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Exemple 1 



Noeud developpe 



Noeud genere 



Cout depuis 
la source 



Cout vers 
la destination 



G + H 




Reference au 
parent 
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20 + 40 

i 








20 + 40 


10 + 30 

i 






10 + 50 










t 

10 + 50 
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Exemple 1 



Noeud developpe 



Noeud genere 



Cout depuis 
la source 



Cout vers 
la destination 



G + H 




Reference au 
parent 
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20 + 40 

i 








20 + 40 


10 + 30 

i 






10 + 50 








t 

20 + 60 


t 

10 + 50 
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Exemple 1 



Noeud developpe 



Noeud genere 



Cout depuis 
la source 



Cout vers 
la destination 



G + H 




Reference au 
parent 
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20 + 40 

i 








20 + 40 


10 + 30 

i 






10 + 50 








t 

20 + 60 


t 

10 + 50 








t 

20 + 60 
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Exemple 1 



Noeud developpe 



Noeud genere 



Cout depuis 
la source 



Cout vers 
la destination 



G + H 




Reference au 
parent 
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30 + 50 

i 


20 + 40 

i 








20 + 40 


10 + 30 

i 






10 + 50 








t 

20 + 60 


t 

10 + 50 








t 

20 + 60 
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Exemple 1 



Noeud developpe 



Noeud genere 



Cout depuis 
la source 



Cout vers 
la destination 



G + H 




Reference au 
parent 
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30 + 50 

i 


20 + 40 

i 


30 + 30 






20 + 40 


10 + 30 

i 






10 + 50 








t 

20 + 60 


t 

10 + 50 








t 

20 + 60 
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Exemple 1 



Noeud developpe 



Noeud genere 



Cout depuis 
la source 



Cout vers 
la destination 



G + H 




Reference au 
parent 
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30 + 50 

i 


20 + 40 

i 


30 + 30 


40 + 20 




20 + 40 


10 + 30 

i 






10 + 50 








t 

20 + 60 


t 

10 + 50 








t 

20 + 60 
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Exemple 1 



Noeud developpe 



Noeud genere 



Cout depuis 
la source 



Cout vers 
la destination 



G + H 




Reference au 
parent 
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30 + 50 

i 


20 + 40 

j 


30 + 30 


40 + 20 


50 + 10 


20 + 40 


10 + 30 

j 




t 

50 + 10 




10 + 50 










t 

20 + 60 


t 

10 + 50 










t 

20 + 60 
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Exemple 1 



Noeud developpe 



Noeud genere 



Cout depuis 
la source 



Cout vers 
la destination 



G + H 




Reference au 
parent 
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30 + 50 

i 


20 + 40 

i 


30 + 30 


40 + 20 


50 + 10 


20 + 40 


10 + 30 

i 




t 

50 + 10 


60 + 0 


10 + 50 






t 

60 + 20 




t 

20 + 60 


t 

10 + 50 










t 

20 + 60 
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Exemple 1 : chemin complet 





f 










f 
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Exemple 2 

H Noeud source 
1*1 Noeud destination 
Obstacle 
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■ 


■ 


1 












■ 
























1 


1 


1 


■ 
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Exemple 2 



Noeud developpe 



Noeud genere 



Cout depuis 
la source 



Cout vers 
la destination 



G + H 




Reference au 
parent 
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10 + 50 




10 + 30 
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Exemple 2 



Noeud developpe 



Noeud genere 



Cout depuis 
la source 



Cout vers 
la destination 



G + H 




Reference au 
parent 
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10 + 50 




10 + 30 
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Exemple 2 



Noeud developpe 



Noeud genere 



Cout depuis 
la source 



Cout vers 
la destination 



G + H 




Reference au 
parent 



M. Fourati & H. Ghazouani 













20 + 40 

i 






10 + 50 




10 + 30 






t 

20 + 60 
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Exemple 2 



Noeud developpe 



Noeud genere 



Cout depuis 
la source 



Cout vers 
la destination 



G + H 




Reference au 
parent 
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30 + 50 

j 










20 + 40 

i 






10 + 50 




10 + 30 






t 

20 + 60 
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Exemple 2 



Noeud developpe 



Noeud genere 



Cout depuis 
la source 



Cout vers 
la destination 



G + H 




Reference au 
parent 
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30 + 50 

j 










20 + 40 

i 






10 + 50 




10 + 30 






t 

20 + 60 



























241 



Exemple 2 



Noeud developpe 



Noeud genere 



Cout depuis 
la source 



Cout vers 
la destination 



G + H 




Reference au 
parent 



M. Fourati & H. Ghazouani 



30 + 50 

j 










20 + 40 

i 






10 + 50 




10 + 30 






t 

20 + 60 






t 

30 + 70 
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Exemple 2 



Noeud developpe 



Noeud genere 



Cout depuis 
la source 



Cout vers 
la destination 



G + H 




Reference au 
parent 
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30 + 50 

j 










20 + 40 

j 




» 


10 + 50 




10 + 30 






t 

20 + 60 








t 

30 + 70 


40 + 60 








t 

40 + 80 
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Exemple 2 



Noeud developpe 



Noeud genere 



Cout depuis 
la source 



Cout vers 
la destination 




Reference au 
parent 
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30 + 50 

j 










20 + 40 

j 






10 + 50 




10 + 30 






t 

20 + 60 








t 

30 + 70 


40 + 60 


50 + 50 






t 

40 + 80 


t 

50 + 70 
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Exemple 2 



Noeud developpe 



Noeud genere 



Cout depuis 
la source 



Cout vers 
la destination 




Reference au 
parent 
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^\ ^\ mm ^\ 

30 + 50 

j 










20 + 40 






A 0^ mm 

10 + 50 




10 + 30 






t 










t 


40 + 60 


50 + 50 


60 + 40 




t 


t 

50 + 70 


t 

60 + 60 
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Exemple 2 



Noeud developpe 



Noeud genere 



Cout depuis 
la source 



Cout vers 
la destination 



G + H 




Reference au 
parent 
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30 + 50 

j 










20 + 40 

j 






10 + 50 




10 + 30 






t 










t 


40 + 60 


50 + 50 


60 + 40 


70 + 30 


t 


t 

50 + 70 


t 

60 + 60 


t 

70 + 50 
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Exemple 2 



Noeud developpe 



Noeud genere 



Cout depuis 
la source 



Cout vers 
la destination 



G + H 




Reference au 
parent 
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30 + 50 

i 










20 + 40 

i 










10 + 50 




10 + 30 






t 

20 + 60 






80 + 20 

i 


t 

30 + 70 


40 + 60 


50 + 50 


60 + 40 


70 + 30 


t 

40 + 80 


t 

50 + 70 


t 

60 + 60 


t 

70 + 50 


t 

80 + 40 
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Exemple 2 



Noeud developpe 



Noeud genere 



Cout depuis 
la source 



Cout vers 
la destination 



G + H 




Reference au 
parent 
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30 + 50 

j 










20 + 40 

j 










10 + 50 




10 + 30 




90 + 10 

i 


t 








80 + 20 

i 


t 


40 + 60 


50 + 50 


60 + 40 


70 + 30 


t 


t 

50 + 70 


t 

60 + 60 


t 

70 + 50 


t 
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Exemple 2 



Noeud developpe 



Noeud genere 



Cout depuis 
la source 



Cout vers 
la destination 



G + H 




Reference au 
parent 
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30 + 50 

i 










20 + 40 

i 








100 + 0 

i 


10 + 50 




10 + 30 




90 + 10 

i 


t 

20 + 60 






80 + 20 

i 


t 

30 + 70 


40 + 60 


50 + 50 


60 + 40 


70 + 30 


t 

40 + 80 


t 

50 + 70 


t 

60 + 60 


t 

70 + 50 


t 

80 + 40 
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Exemple 2 : chemin complet 
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Application (labyrinthe) 



M. Fourati & H. Ghazouani 



Application (labyrinthe) 



Au debut la distance parcourue est 0 (Distance parcourue, Distance estimee) 



i 



(0,5(>) 




Nceud non 

encore 

genere 

Noeud 
genere 




Noeud 
developpe 
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Application (labyrinthe) 



(Distance parcourue, Distance estimee) 



i 



(0,5!)) 



4 



(20,40) 





Nceud non 

encore 

genere 

Noeud 
genere 



Noeud 
developpe 
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Application (labyrinthe) 




(40.50) 



i 



(0,5!)) 



(20,40) 
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(Distance parcourue, Distance estimee) 





Nceud non 

encore 

genere 

Noeud 
genere 



Noeud 
developpe 
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Application (labyrinthe) 



i 



(0,5(>) 




(40.50) 



(20,40) 



(Distance parcourue, Distance estimee) 



(65,40) 




(55,30b 




Nceud non 

encore 

genere 

Noeud 
genere 




Noeud 
developpe 
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Application (labyrinthe) 



i 



(0,5(>) 



(40.50) 



(20,40) 



(Distance parcourue, Distance estimee) 



(65,40) 




(55,30b 




Nceud non 

encore 

genere 

Noeud 
genere 




Noeud 
developpe 
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Application (labyrinthe) 



i 
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(0,5!)) 
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Application (labyrinthe) 



i 



(40.50) 



(0,5!)) 



1(90,50) 



(20,40) 



(Distance parcourue, Distance estimee) 



(70,43) 



(65,40) 



n 



(55,30b 
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Application (labyrinthe) 



i 



(40.50) 



(0,5!)) 



1(90,50) 



(20,40) 



1 25,30) 
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(70,43) 



(65,40) 



rr 
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Application (labyrinthe) 



1(80,115) (60,70) 



(40.50) 



9- 

I 



(0,5!)) 



1(90,50) 



(20,40) 



1 25,30) 
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Application (labyrinthe) 



1(80,115) (60,70) 



(110,90) 



(40.50) 



9- 

I 



(0,5!)) 




(90,50) 



(20,40) 



1 25,30) 



(Distance parcourue, Distance estimee) 



(70,43) 



(65,40) 



n 



(55,30b 



(90,25) 




Nceud non 

encore 

genere 
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Application (labyrinthe) 



1(80,115) (60,70) 



1 55. 



(40.50) 



(155,60) 



I 
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(0,55) 




(90,50) 



(20,40) 



t 



1 25,30) 
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Application (labyrinthe) 



1(80,115) (60,70) 



1 55, 



(110,90) 
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(90,50) 



(40.50) 



(20,40) 



(155,60) 



t 



I 



m 
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Application (labyrinthe) 



1(80,115) (60,70) 



1 55, 



(110,90) 



(0,5!5) 




(90,50) 



(40.50) 



(20,40) 



(155,60) 



t 
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1 25,30) 
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Application (labyrinthe) 
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rr 
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Application (labyrinthe) 



1(80,115) (60,70) 



1 55, 



(110,90) 
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(20,40) 
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t 
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1 25,30) 



(145,30) 
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(70,43) 



(65,40) 
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Application (labyrinthe) 



1(80,115) (60,70) 



1 55, 



(110,90) 
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t 
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m 
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(70,43) 
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Application (labyrinthe) 
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Application (labyrinthe) 
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Application (labyrinthe) 
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Exploration heuristique a 
memoire limitee : 
IDA*, 

RBFS, 
MA* 



A* avec approfondissement 
iteratif (IDA*) 



□Algorithme par approfondissement 
iteratif avec la limite est le cout f et non 
la profondeur. 

□Achaque iteration la profondeur est 
fixee par la valeur de f la plus basse, 
mais qui depasse la limite de I'iteration 
precedente. 

□Prend moins de memoire, comparable 
I'exploration en profondeur d'abord et 
evite le maintien d'une liste triee. 



M. Fourati & H. Ghazouani 



272 



Application IDA* 
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Application IDA* 




280+366=646 239+1 76=41 5 291 +380=671 
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Application IDA* 



Limite = 413 



0+366=366 i 



140+253=393 



1 1 8+329=447 



Timisorara 



75+374=449 



Zerind 



Fagaras 



Oradea 



220+193=413 



Rimnicu Vicea 



280+366=646 239+176=415 291+380=671 




Craiova 



317+100=417 



Pitesti 



Sibiu 



366+160=526 



300+253=553 
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Application IDA* 




366+1 60=526 300+253=553 
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Application IDA* 
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Application IDA* 
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Exploration recursive par le 
meilleur d'abord (RBFS) 



□Variante de I'exploration par le meilleur 
d'abord. 

□Utilise une espace de temps lineaire. 

□L'exploration se fait recursivement en 
profondeur d'abord. 

□Mais ne continue pas indefiniment dans 
un chemin, elle pause une limite 
correspondent a la valeur f du meilleur 
chemin alternatif parmi les ancetre. 
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Exploration RBFS pour 
Bucarest 




Performances de 
I'exploration RBFS 



□Un peu plus efficace que IDA*; mais 
toujours generation excessive de noeuds. 

□Optimale si h(n) est admissible. 

□Complexite en espace lineaire : O(bd). 

□Complexite en temps : depend de 
I'exactitude de la fonction heuristique et de 
la frequence des changements de chemins. 

□Mais comme IDA* il sous-utilise I'espace 
memoire. 
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Exploration SMA* (Simple 
Memory-Bounded A*) 



□Meilleure utilisation de la memoire 
disponible. 

□Pareil que A* sauf qu'il developpe la 
meilleure feuille jusqu'a ce que la memoire 
soit pleine. 

□Pour liberer de I'espace, elle supprime le 
noeud feuille le moins favorable. 

□Memorise la valeur du noeud oublie au 
niveau du parent, il pourra alors regenerer 
ce sous-arbre s'il redeviendra le meilleur. 
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Performances de 
I' exploration SMA* 



□Completude : oui s'il existe 
une solution accessible (cka la 
capacite de stockage). 

□Optimalite : oui une solution 
optimale est accessible. 
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Plan 



□ Agents de resolution de problemes 

□ Problemes bien definis 

□ Exemples de problemes 

□ Recherche de solutions 

□ Strategies d'explorations systematiques : 

□ Non informees, 

□ Informees (heuristiques) 

□ Fonctions heuristiques 

□ Strategies d'explorations locales 
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Fonction heuristique 



Jeu de Taquin 



□Cout moyen pour la 
solution : 22 etapes. 



□£> = en moyenne 3. ^..nm- 

□Pour une exploration d'arbre exhaustive a une 
profondeur 22, examine 3 22 « 3.1 x1 0 10 etats. 

□Pour une exploration en graphes : une diminution 
par un facteur de 1 70000 etats. 

□Un nombre raisonnable, mais pour le taquin 15, il 
faut penser a utiliser une bonne fonction 
heuristique. 
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Heuristiques pour le jeu de 
Taquin 



□Deux heuristiques admissibles pour le 
jeu de taquin : 

□/? r =nombre de pieces mal placees : 
/7 y =8 pour I'etat initial. 

□/?2=somme des distances des pieces 
par rapport a leur position but 
(distance de Manhattan ou distance 
city-block) : 

(/?2=3+1 +2+2+2+3+3+2=1 8 pour I'etat 
initial). 
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Dominance 



□On dit que h2 domine hi si hi et h2 
sont admissibles et que h*(n)> h2(n) 
>h1(n). 

□h2 est alors meilleure pour la 
recherche, car generalement A* 
avec h2 ne developpera pas plus de 
noeuds que A* avec hi . 

□Que peut ont dire des heuristiques 
de I'exemple precedent ? 
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Production d'heuristiques 
admissibles 



□Problemes relaxes 
□Base de donnees de motifs 
□Apprentissage 

M. Fourati & H. Ghazouani 289 



Production d'heuristiques 
pour les problemes relaxes 



□ L'heuristique est une solution exacte pour le probleme simplifie. 

□ Exemple du jeu de Taquin : 

□ Probleme reel : une piece peut passer de la case A a la case B si 
A est adjacent a B et si B est vide. 

□ Problemes relaxes : 

• une piece peut passer de la case A a B si A est adjacent a B (h2). 

• une piece peut passer de la case A a la case B si B est vide. 

• une piece peut passer de la case A a la case B (hi ). 

□ Le programme OBSOLVER produit automatiquement des 
heuristiques en se basant sur des problemes relaxes, il a produit une 
meilleure heuristique pour le taquin 8 et la premiere heuristique pour 
le Rubik's cube. 
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Production d'heuristiques a 
partir de sous-problemes 



□L'heuristique est obtenue a partir du cout de 
la solution d'un sous-probleme. 

□Stocker, dans une base de donnees de 
motifs, des couts exacts de solutions qui 
sont des instances de sous-problemes. 
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7 


8 



Elat initial £tat final 
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Production d'heuristiques a 
partir de sous-problemes 



□La base de donnees est construite 
par exploration en arriere a partir du 
but et en enregistrant le cout de 
chaque nouveau motif rencontre. 

□Cette heuristique reduit le nombre 
de noeuds generes d'un facteur 1000 
pour le taquin a 15 pieces par 
rapport a la distance de Manhattan. 
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Apprentissage d'heuristique 



□Developper des heuristiques a partir du cout 
des solutions optimales. 

□Appliquer des algorithmes d'apprentissage 
afin de construire une fonction h(n) qui predit 
les couts des solutions pour d'autres etats 
qui se produisent pendant I'exploration. 

□Des techniques basees sur les reseaux de 
neurones, d'arbres de decision et d'autres 
methodes d'apprentissage sont adoptees. 
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Plan 



□ Agents de resolution de problemes 

□ Problemes bien definis 

□ Exemples de problemes 

□ Recherche de solutions 

□ Strategies d'explorations systematiques : 

□ Non informees, 

□ Informees (heuristiques) 

□ Fonctions heuristiques 

□ Strategies d'explorations locales 
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Exploration systematique 



□Parcours d'espaces d'etats pour 
trouver un chemin vers la so ution (le 
chemin est aussi une solution). 

□L'environnement est observable, 
deterministe, statique et entierement 
connu. 

>ll est possible d'explorer 
systematiquement tous les chemins 
a partir de I'etat initial. 
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Exploration locale 



□Si la solution recherchee est I'etat optimal 
(ou proche) et non le chemin qui y mene, le 
chemin vers le but n'est pas important. 

□Probleme de jouets : jeu des 8 dames. 

□Problemes reels : Conception de circuits 
integres, ordonnancement, optimisation de 
reseaux de telecommunication, routage. 
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Exploration locale 



□ Elle opere en ne considerant qu'un seul noeud courant et 



non p 



usieurs chemins. 



□ Ne s'occupe que des voisins du noeud choisi. 

□ Les chemins suivis ne sont generalement pas 
memorises. 

□ Utiles pour resoudre des problemes d'optimisation ou 
I'objectif est de trouver la meilleure solution selon une 
fonction objectif (a minimiser ou a maximiser). 

□ Consomment peu de memoire et trouvent souvent des 
solutions raisonnables dans des espaces d'etats infinis. 
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Paysage de I'espace d'etats 
pour une exploration locale 



Fonction objectif 



Maximum global 




Maximum local 

Maximum local plat 



^ Espace de 
d'etats 

• Un algorithme d'exploration locale est complet s'il 
trouve toujours un but et est optimal s'il trouve un 
minimum ou un maximum global. 
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Algorithmes pour 
I'exploration locale 

□Hill-climbing 
□Recuit simule 
□Locale en faisceau 
□Genetiques 

M. Fourati & H. Ghazouani 299 



Exploration par escalade 
« Hill-climbing » 



Exploration par escalade 
« Hill-climbing » 



□ But : « Atteindre le sommet du Mont 
Everest dans un epais brouillard tout 

en souffrant d'amnesie » . 

fonction EscALADii{ problerne) retourne un etai qui est un maximum local 

cou ran t — Cr £ E R - N ceu D (probteme, £tat- I n iti a l) 
faire en boucle 

voisin — un successeur de cou rant ayant la valeur la plus elevee 
si voisin. Valeur < cou rant. Valeur alors retourner cuwm/if.ETAT 
courant «— voisin 



M. Fourati & H. Ghazouani 



301 



Fonctionnement 



□ Entree : 

□ Etat initial. 

□ Fonction a optimiser (fonction objectif/cout). 

□ Fonction permettant de generer les etats successeurs. 

□ Algorithme : 

□ Le nceud courant est initialise a I'etat initial. 

□ Iterativement, le noeud courant est compare a ses successeurs 
immediats. 

• Le meilleur voisin immediat et ayant la plus grande valeur (selon la 
fonction objectif) que le nceud courant, devient le nceud courant. 

• Si un tel voisin n'existe pas, on arrete et on retourne le noeud 
courant comme solution. 
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Exploration par escalade 



□Une boucle qui se deplace vers les valeurs 
croissantes guidee par la fonction objectif. 

□S'arrete quant elle atteint un pic avec aucun 
voisin avec une valeur plus elevee. 

□Pas de maintien d'un arbre d'exploration, 
uniquement I'etat courant et la fonction 
objectif sont enregistres. 

□Uniquement les voisins immediats sont 
observes. 
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Exploration par escalade 



□L'escalade est qualifiee de gloutonne parce 
qu'elle choisi un bon etat voisin sans 
considerer le deplacement suivant. 

□Pourtant elle a frequemment de bonnes 
performances. 

□Mais echoue souvent : 

□ Maxima locaux. 
□Cretes. 

□ Plateaux. 



M. Fourati & H. Ghazouani 



304 



Maxima locaux 



Fonction objectif 



Maximum global 




Maximum local 

Maximum local plat 



^ Espace de 
d'etats 
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Maxima locaux 



Fonction objectif 



Maximum global 




Maximum local 

Maximum local plat 



^ Espace de 
d'etats 
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Maxima locaux 



Fonction objectif 



Maximum global 



Maximum local 




Maximum local plat 



» Espace de 
Etat courant d'etats 

• L'algorithme hill-climbing risque d'etre piege dans des 
optimums locaux : s'il atteint un noeud dont ses voisins 
immediats sont moins bons, il s'arrete ! 
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Plateaux 



Fonction objectif 



Maximum global 




Maximum local 

Maximum local plat 



Etat courant 



^ Espace de 
d'etats 



□ Region plate : 

□ Maximum local plat : rien a faire. 
l Palier : possibility de progresses 
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Minimum local plat 



□On cherche a minimiser la 
fonction objectif. 
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Minimum local plat 



□Si on arrive a depasser I'espace plat et on 
choisit un etat successeur de fagon 
aleatoire. 




successeur 
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Minimum local plat 



□lei il va revenir a I'etat initial puisque 
c'est le meilleur choix. 




Minimum local plat 



□II peut ou bien boucler entre le noeud initial et 
son successeur gauche ou passer au 
successeur droit d'une fagon aleatoire. 

4 



Noeud 
successeur 




Noeud courant 



Noeud 



Noeud 
successeur 
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Minimum local plat 



□II va encore revenir a I'etat initial puisque 
c'est le meilleur choix. Ainsi il bouclera a 
Tinfini entre ses deux successeurs. 



Noeud 
successeur 



Noeud courant 




Noeud 
successeur 
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Palier 



□On cherche a minimiser la fonction 
objectif. 
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Palier 



□Si on arrive a depasser I'espace plat et on 
choisit un etat successeur de fagon 
aleatoire. 




successeur 
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Palier 



□Le successeur gauche est le meilleur choix 
puisqu'il minimise la fonction objectif. 



Noeud courant 




Noeud 4 
successeur 
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Palier 



□II peut ainsi quitter le plateau et il 
pourra peut etre arriver a la solution. 



4 
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Crete (ridge) 



□Ressemble a un plateau, qui a tendance a 
baisser vers les extremites 

□Mais on n'est pas en presence ni d'un 
maximum local ni global et une exploration 
d'autres directions 
peut trouver un point 
plus eleve. 
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Exemple : n reines 



□ II faut placer n reines sur un echiquier de taille nx nde 
sorte que deux reines ne s'attaquent mutuellement : 
meme diagonale, ligne ou colonne. 





□ n=4 : 256 configurations. 

□ n=8 : 16 777 216 configurations. 

□ n= 16 : 18,446,744,073,709,551,616 configurations. 
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Hill-climbing pour 



□Chaque etat a 8 reines sur 
I'echiquier, avec 8x7 
successeurs. 

□ Fonction heuristique h : 
nombre de paires de reines 
qui s'attaquent. 

□ Ici, pour I'etat 
n=[5,6,7,4,5,6,7,6] on a h=17. 

□Le successeur est celui qui 
reduit le nombre d'attaques 
(h=12). 
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Minimum 
des etats 
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Surmonter le plateau 



□L'algorithme s'arrete en presence 
d'un plateau. 

□Une amelioration vise a se deplacer 
lateralement dans I'espoir que le 
plateau s'avere etre un palier : mais 
attention au bouclage. 

□Une solution : imposer une limite au 
nombre de deplacements. 
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Variantes de I'exploration par 
escalade 



□Escalade stochastique : choisit par 
hasard parmi les mouvements ascendants 
avec une certaine probability qui depend 
de I'importance du mouvement. 

□Escalade du premier choix : genere des 
successeurs au hasard jusqu'a ce que 
I'un d'eux soit meilleur que I'etat courant 
(bonne en presence de plusieurs voisins). 

□Escalade avec reprise aleatoire. 
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Escalade avec reprise 
aleatoire 



□ Dans le cas ou aucun avancement n'est possible, des 
explorations par escalade sont demarrees a partir d'etats 
initiaux generes aleatoirement. 

□ Pour le probleme des reines, meme pour trois millions de 
reines, des solutions sont trouvees en moins d'une minute. 

□ Le succes de I'escalade depend du paysage : 

□ peu de maxima locaux et de plateaux: la solution sera trouvee 
rapidement. 

□ Si la surface est dentelee : la complexite temporelle est 
exponentielle, mais il est souvent possible de trouver une solution 
raisonnable apres un petit nombre de reprises. 
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□/? : nombre de cases 
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Etat initial 
h=4 
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Hill-Climbing : verdict 



□ II peut trouver une solution tres 
rapidement. 

□ II peut etre piege dans des 
maximum/minimum locaux. 

□Peut osciller indefiniment en 
revenant a un etat 
anterieurement visite : cas du 
maximum local plat. 
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Exploration par Recuit 
si mule (Simulated 
Annealing) 



Exploration par recuit simule 



□Amelioration de hill-climbing pour minimiser le 
risque d'etre piege dans des minimums locaux. 

□Compromis entre un parcours qui n'effectue 
jamais de deplacements ascendants (efficace 
mais incomp et) et un parcours purement aleatoire 
(complet mais inefficace). 

□Inspire de la metallurgie : 

□ Durcissement des metaux par chauffage a 
haute temperature. 

□ Refroidissement progressif pour atteindre la 
cristallisation. 
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Principe de I'exploration par 
recuit simule 



□Au lieu de choisir le meilleur voisin, un 
nceud successeur est genere au hasard 

□S'il ameliore la situation, il est toujours 
accepte. 

□Sinon, le noeud est choisi selon une 
probabilite < 1 . 

□La probabilite que le deplacement soit 
cho si decroit avec la mauvaise qualite 
du noeud. 
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Principe de I'exploration par 
recuit simule 



□ Un parametre T dit temperature, qui tend vers zero avec 
le temps, influence aussi la probability : 

□ La probability decroit a mesure que T baisse. 

□ Plus T est grande plus un mauvais mouvement a des 
chances d'etre pris. 

□ Le nombre d'iterations et la diminution des probabilites 
sont definis a I'aide d'un schema (schedule) de 
temperatures, en ordre decroissant 

□ Lorsque T s'approche de 0, 1'algorithme se comporte 
comme celui de I'escalade (aucun degradation du cout 
n'est acceptee). 
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Algorithme d'exploration par 
recuit simule 



fonction \{[ i:\jiT-SiMUL£(probfeme t schema) retourne un itm solution 
entries: probleme, un problcme 

schtma, une fonction du temps sur les « temperatures » 

cow ran r—CR£ER-NcEUD(profj^mRETAT- Initial) 
priur { = 1 jusqu'a co faire 

T*-sch4ma{t) 

si 7 - 0 alors retourner courant 
sttivant— un successeur de couranr choisi au hasard 
A£ : — suivant.V meuh - courunt. Valeur 
si A£ > 0 alors con rant*- suivant 

sin on voumnt*- suivant seulement avec une probabilite de e^^ /T 
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Exploration locale en 
faisceau (local beam 
search) 



Principe de I'exploration 
locale en faisceau 



□ Conserve k nceuds en memoire au lieu d'un. 

□ Commence avec k etats generes aleatoirement : 

□ Achaque etape, tous les successeurs des k etats sont generes. 

□ Si Tun d'eux est un but, I'algorithme s'arrete. 

□ Sinon, il selectionne les k meilleurs successeurs et 
recommence. 

□ Les k explorations se partagent les informations utiles. 

□ Exploration en faisceau stochastique : selectionne les k 
successeurs au hasard avec une probability qui est une fonction 
croissante de sa valeur (repond a I'absence de diversite). 
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Algorithmes genetiques 



Principe de I'algorithme 
genetique 



□Variante de I'exploration en faisceau stochastique, 
mais les etats successeurs sont generes en 
combinant deux parents au lieu de modifier un 
seul etat. 

□II utilise des principes de 1'evolution naturelle : 

□ La loi du plus fort. 

□ Deux individus genetiquement favorises 
donnent generalement des enfants 
genetiquement favorises. 

□ Existence de mutations. 
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Principe de fonctionnement 
des algorithmes genetiques 



□ Commence par k etats generes aleatoirement : la population. 

□ Chaque etat, individu, est represents par des chaines de 
caracteres : chaines de bits ou des expressions symboliques. 

□ La generation suivante est obtenue par reproduction ou mutation 
de ces individus. 

□ Les meilleurs individus ont de meilleures chances d'etre choisis 
selon une fonction objectif : fonction d'adaptation (fitness 
function). 

□ Avec une faible probability, on applique une mutation a I'individu 
qui sera ajoute a la nouvelle population. 

□ Les reproductions et mutations continuent jusqu'a ce que 
I'individu solution apparait dans la population. 
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Illustration de I'algorithme 



Population de quatre chaines de huit chiffres 
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(a) (b) (0) 

Population initials Fonction d'adaptation Selection 



Recombinaison 



Mutation 



Nombre de reines 
qui ne sont pas en 
prise 
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Croisement 
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Fonctionnement de 
I'algorithme genetique 



1. Generer aleatoirement une population de N chromosomes. 

2. Calculer la valeur d'adaptabilite {fitness) de chaque chromosome x. 

3. Creer une nouvelle population de taille N. 

3.1 Selectionnant 2 parents chromosomes (chaque parent est selectionne avec 
une probability proportionnelle a son adaptability et en les croisant avec 
une certaine probability. 

3.2. Mutant les deux enfants obtenus avec une certaine probability. 

3.3 Plagant les enfants dans la nouvelle population. 

3.4 Repeter a partir de I'etape 3.1 jusqu'a avoir une population de taille N. 

4. Si la population satisfait le critere d'arret, arreter. 
Sinon, recommencer a I'etape 2. 
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Algorithme genetique 



fonction ALCiOHiTHM ti-G£N£TtQUii( population, Fn -Adaptation) relourne un individu 
entries: population, un ensemble d'individus 

Fn -Adaptation, une fonction qui mesure I'adaptation d'un individu 

r£p£ter 

nouvelle_population^ ensemble vide 
pour i=l jusqu'a T At LLE[ population) faire 

X — SHLECT[DN-ALEATOIRE(po;j«/^r/o« p FN - ADAPTATION) 

y— Selection -Aleatoire{ population, Fn-Adae*tation) 
enfant — KeprodutreCx.j') 

si Cp elite probability aleatoire) alors enfant*— Mutation {fits} 
ajouter enfant a n on vetle_ pop ulatio n 
population n ou velte_popula tio n 
jusqu'ft ce qu'un individu soil suffisamment ad£quat r 

ou qua suffisamment de temps se soil ecouM 
retourner le meUleur individu de la population, selon Fn- Adaptation 



fonction Reh itoDU [RE(x, retourne un individu 
entries: x>}\ individus parents 

n*— Longueur(jt); r— nombre aleatoire compris entre 1 et n 

retourner Ajouter(Sous-ChaIne(jc ( 1, c) t Sous-GhaIne^ e + 1, n}) 
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Exploration avec actions non 
deterministes 



□Lorsque I'environnement est non 
deterministe, I'agent ne connait pas 
a I'avance le resultat de ses actions. 

□Apres chaque action, les percepts 
indiquent ses effets reels. 

□La solution n'est plus une sequence 
mais un plan contingent (strategie) 
qui indique quoi faire selon les 
percepts regus. 
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Aspirateur capricieux 



□Exemple d'un aspirateur capricieux qui 
suite a Taction Aspirer : 

□Dans un carre sale, I'action le nettoie 
mais parfois elle nettoie aussi le carre 
adjacent. 

□Dans un carre propre, Taction peut 
deposer de la salete. 

□Une solution contincjente a ce probleme 
peut etre representee par un arbre ET-OU. 
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Arbre d'exploration ET-OU 
pour I'aspirateur capricieux 
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Exploration sans observation 



□Les percepts de I'agent ne fournissent aucune 
information : sans capteurs. 

□Exemple de I'aspirateur qui connait son 
monde mais ignore son emplacement actuel 
qui peut etre n'importe quel etat parmi 
[1,2,3,4,5,6,7,8]. 

□Ce probleme est resolu par exploration des 
etats de croyance au lieu des etats physiques. 

□Rarement faisable en pratique : taille de I'etat 
de croyance. 
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bspace des etats de croyance pour 
I'aspirateur deterministe et sans 
caoteurs 
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Resolution de problemes 
partiellement observables 



□Exemple d'aspirateur a detection locale : 
detecteurs de position et de salete locale. 

□Une fonction percepts renvoie le percept regu 
dans un etat. 

□Exemple : le percept dans les etats 1 et 3 sont 
[A, sale]. 

□Sachez que dans un environnement : 

□ Entierement observable : Percept(s)=s. 

□ Sans capteur (non observable) : Percept(s) =nil. 



M. Fourati & H. Ghazouani 



346 



Un niveau de I'arbre d'exploration 
ET-OU a detection locale 
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Recherche hors ligne 



□Les algorithmes vus sont des 
algorithmes d'exploration hors 
ligne. 

□lis calculent la solution complete 
avant d'affronter renvironnement. 

□lis executent les actions sans 
utiliser leurs percepts. 
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Recherche en ligne 



□ Necessaire pour les environnement inconnus : problemes de 
decouverte. 

□ Les algorithmes d'exploration en ligne entrelacent calcul et action 
: I'agent doit executer des actions et non realiser uniquement des 
calculs. 

□ II ne connait pas le resultat de ses actions avant de les effectuer 
reellement. 

□ Apres chaque action I'agent regoit un percept lui indiquant I'etat 
atteint et enrichir sa carte de I'environnement. 

□ Contrairement a un algorithme hors ligne comme A* il ne peut 
pas developper un noeud dans une partie de I'espace ensuite 
developper un autre noeud dans une autre partie : les actions sont 
simulees et non reelles. 
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Fonctionnement de la 
recherche en ligne 



□Le developpement des noeuds se fait dans un 
ordre local : I'exploration en profondeur possede 
cette propriete. 

□L'etat resultant de I'execution d'une action est 
enregistre. 

□Chaque fois qu'une action de l'etat courant n'a 
pas ete exploree, I'agent I'essaie. 

□Avec une exploration en profondeur hors ligne 
l'etat visite est supprime de la file, mais dans 
I'exploration en ligne I'agent revient en arriere 
physiquement. 
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Exploration en ligne locale 



□ L'exploration par escalade possede la propriete de 
localite et est done un exploration en ligne. 

□ Mais elle n'est pas interessante puisque I'agent reste 
bloque dans des maximum/minimum locaux. 

□ Les reprises aleatoires ne sont pas applicables : 
impossible de se transporter dans un nouvel etat. 

□ Une solution est le parcours aleatoire : selection au 
hasard d'une action disponible. 

□ Une meilleure solution consiste a memoriser la meilleure 
estimation courante du cout pour atteindre le but a partir 
de chaque etat visite : I'agent est appele LRTA*. 
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